Cocos:现在是培养AR开发团队的黄金时间窗口-本土AR的C端普及条件、开发方向、效率与成本| XR电话会议系列
AR应用的内容缺口其实非常大,但我不建议一窝蜂都涌入XR赛道里。我的建议是一定要在自己的专业领域内挖掘AR价值,思考如何能够通过AR技术,为你自己的客户提供更优质的用户体验。
因为不管缺口有多大,你自己客户的需求就是你的缺口。一方面,是对价值增值的真实需求,自己转型的风险最小;另一方面,这样大家才能百花齐放,发现更多可能性,对AR技术和市场的长远的发展都更有利。
——Cocos XR 技术总监
王庆利
在元宇宙框架与数字经济建设趋势之下,XR被普遍认为是下一代体验革新的重要载体之一。
作为其中一条技术路径,AR具备将数字信息覆盖到现实世界的能力,能够为虚实共生时代提供更为灵活的交互方式,满足未来体验升级需求,得到不少科技巨头、互联网大厂及手机厂商的押注。
当前阶段,AR以行业应用为主,侧重于工业、培训、安防及实验场景。消费级产品的推进节奏相对滞后,多面向游戏场景。海外苹果、微软、谷歌等科技巨头正在加速布局硬件产品和生态;而国内已有部分硬件、软件和技术工具公司,正在各自所处产业链环节寻求突破,进一步探索AR的应用机会。
成立于2010年的Cocos公司,基于Cocos开源引擎的技术能力,为开发者和客户提供便捷的创作工具与可靠的解决方案。今年还将发布Cocos Creator XR版本,为开发者提供快速开发部署AR内容的能力。
Cocos成立以来一直追求更高性能、更小包体,以提高行业生产效率。目前看好XR领域的发展潜力,认为虚拟内容创作方向出现的轻量化趋势,可能成为Cocos的机会。
在线上会议分享中,Cocos XR技术总监王庆利表示,当下AR应用的内容缺口很大。未来两三年预计有一批XR设备问世,都需要AR内容填充,“现在正是培养开发团队的黄金时间窗口”。
而本土市场,目前专注于手机应用的开发者规模可观,也逐步释放出多元化的场景需求,有利于AR技术和市场的长远发展。王庆利认为,当出现一个相对集中又中立的内容平台、完善创作工具链、有吸引力的刚需应用,以及轻便美观的设备时,可以期待AR在C端市场普及。
王庆利的分享主要分为四个部分
① AR应用的现状及缺口;
② 如何为AR应用开发提速;
③ AR应用开发怎么“避雷”;
④ 中国AR市场的机会与在C端普及的条件
核心分享要点,请点击下方视频
AR应用的现状及缺口:
培养开发团队的黄金时间窗口
从概念上来看,AR是增强现实。可以增强信息、增强效果、可以创作或者改变现实。只要你对现实不满意的地方,现实中不能充分表达含义的地方,还有现实中需要辅助信息的地方,都可以用到AR技术。
按照显示设备来区分,AR可以分为手持、头戴、空间(或者全息)。
大家最常见的像AR科普读物,可以让小孩看到立体的恐龙宇宙,还可以交互。很生动,能够加深学习的印象。在高年级、大学里面,比较难懂的概念、危险的实验,也可以用AR来辅助教学。还有像相机的贴纸、滤镜,其实也是一种AR。很多直播、电商营销在用AR技术,比如可以试一下鞋子,试一下手表眼镜。
游戏方面,像Pokemon Go一直到现在都还流行。影视文旅方面,也有很多都可以用到AR。比如虚拟烟花、虚拟动画,还有文物古迹的复原,还有医疗、军事等,现在还有在用手持AR做工业巡检,扫一下就能看到当前设备运行的数据状态。当然,2B的生产运维方面的应用、建筑设计规划的,还是用AR眼镜或者AR头盔更合适。
总之, AR很可能是一种什么都能做的技术,在各行各业都有用途,只要你善于发现。
① C端场景:
相机贴纸滤镜、广告营销、旅游、导航
前几年AR应用最多的地方,或者说是规模最大的一种内容类型,就是相机滤镜贴纸。这个功能每个相机APP都有预安装,有的手机还靠这个相机功能做卖点。有一些大的平台上能有三四百万张这种滤镜贴纸,这个规模是非常大的。
后面几年,我觉得最适合的一些C端场景,是AR教育、AR旅游、广告营销、导航这些。像AR书籍读物、电商游戏之类,已经很普及了。最近旅游方向,像虚拟的VR灯光秀、烟花等等,其实案例也挺多。
② B端场景:
运维指导、维修培训、辅助生产
B端像远程运维指导、维修培训,更大范围的出现了。一方面,技术上逐渐成熟,设备性能也提高了,另一方面,人们逐渐适应了用电子设备做辅助工具。
AR眼镜如果能够普及,可以当做移动的一个大屏,戴上之后你可以同时看到现实和附加信息,不用限制在一个很小的屏幕内,还可以360度显示不同的数据。
比如你进入了高危高压的生产现场,进入配电站,戴上AR眼镜就能看到一排排的配电箱每一个按钮什么状态,将虚拟面板和真实的设备机柜上的按钮状态一对比,很明显就能看到哪些状态错误。然后你可以调出你的指导文档或者视频,也可以请求一些远程的指导,就可以迅速恢复这个故障,还有像AR办公,翻译提词器等等。
AR健身现在也挺流行的,戴上AR眼镜,你可以观察一下你身体的状态,在大屏里面,左边的一个屏幕看到心率,中间前面看到你卡路里用了多少,然后右边看你公里数多少等等。可以在眼镜里让你教练远程来指导一下你的动作姿势对不对,很多时候不方便去现场锻炼,都可以通过AR远程指导健身。
购物平台上有一些AR广告已经很常见了。还有AR说明书,戴上眼镜就能看到这个玩具的零件,应该用哪些配件,装在哪个位置,用AR形式给你补全,这样就很快就能够安装好。
汽车领域AR导航领域也非常适用,场景其实很多,大家最好结合自己行业的实际需求来挖掘。
但整体来看,应用缺口很大。目前一些分体式的设备,轻便性是可以的,连上手机也能够长时间佩戴。现在主要还是内容的缺口比较大。
做个对比,我国手机APP现在的数量已经有400多万。但是AR除了相机贴纸,其他的应用很少,可能也就1万左右。而真正有价值的应用就更少了,像有点用户量的AR尺子,家具之类的,可能实际使用价值也不是那么大。
眼镜设备就更不用说了,像一些ToB的设备,可能只有一些企业定制的一两个APP在设备上面,所以缺口是非常大的。
而市场趋势表明,首先,手机设备的市场已经饱和了,销量也在下降,各种应用APP这么多年在形式上也没有多大的变化。手机设备这些年增加一下分辨率,换个摄像头,增加点内存,就靠着各种参数也支撑了几年。也到了需要有点创新,或者一些新形式的内容出现的时间节点。
其次,苹果AR的发布时间也越来越近,国内很多手机厂商也开始往这个领域布局。尤其是今年,各大厂商的手机销量下滑还是比较严重,所以对XR的布局是刻不容缓的。
我们预计在两三年内,会有一批XR设备问世。这些设备都需要有各种各样的AR内容,或者VR内容。
因此,现在正是培养开发团队的黄金时间窗口。
我们国内的XR开发商目前来看还比较少,而且大多数还是个人开发者,有较强开发能力的团队,估计也就小几十家。所以未来几年设备批量上市的时候,肯定会面临内容匮乏的局面。
到设备批量出现的时候,可能很多现存的手机APP都要迁移到这个XR设备上去,或者现有的APP会增加一些AR的功能模块。如果出现这个需求,那现在的APP开发者都需要做技能上的提升,都要做些准备。
另外,电商其实也很适用AR技术,如果每个产品都有对应的AR展示内容,或者有营销广告,这个规模非常巨大。
所以缺口其实非常大。但我不建议大家头脑一热,一窝蜂都涌入到XR赛道里。我的建议是大家多思考一下,如何能够通过AR技术,为你自己的客户提供更优质的用户体验。不管缺口有多大,你自己客户的需求就是你的缺口。
如何为AR应用开发提速?
① AR应用
开发周期取决于具体项目
toB的AR开发一般会针对企业实际的生产流程开发需求,开发与企业生产发展相关的AR功能,这就需要比较了解行业业务和生产运维的过程。最好能让甲方企业能充分的培训行业知识和业务流程,采用一些敏捷项目管理的方式。
现在很多大型企业,尤其是一些国企央企,有很多AR辅助生产运维的需求。如果不熟悉他们的业务逻辑,很容易拖延开发周期。
在开发过程中,需要选择合适的底层功能库和开发工具。不管是toB还是toC,都在技术层面做这个准备。现在市面上有很多SDK,开源的、商业的、免费的等等。如果有特殊功能需求,可以在一些特殊的开源SDK上做修改。如果需要通用功能,就在这个基础上做定制化,都可以缩短周期。
比如,华为的AR Engine功能很全面,新版的ARCore也增加了一些深度、环境录制和播放功能。苹果有激光传感器,可以实现一些三维建模、环境重建等功能。对这些SDK熟练的应用才能去加速AR的开发周期。当然学习这些功能库的技术门槛也挺高,学习成本、维护成本很高。
② 降低AR应用
开发成本的方式
很多大厂已经把AR的底层功能封装好了,现在AR的能力无非就是定位跟踪、环境重建、光照估计,还有一些平面检测,或者是物体识别、图像识别这些基础的功能。我们利用这些基础功能去实现自己业务层的逻辑,主要还是看这个APP自身的一些开发周期,不像最开始的时候,以前我们都要把这些技术功能自己搞一遍。
要降低成本还有一种方式,就是多使用一些现成的一些开发工具。因为有很多SDK都提供了比较通用的基础功能,但问题是,不同的平台适应性不一样。有的平台可能只支持这种SDK,每个SDK之间的操作步骤,还有API使用还是不一样。我们也不可能把每个SDK都学的很精通,这个时候还是要借助AR的一些内容制作或者发布的通用工具。
这类工具大多会支持跨设备跨平台的一些开发设计,比如Cocos Creator也是采用了标准协议,实现了对主流SDK的支持,现在已经适配头部的一些XR设备。只要开发一次项目,就可以打包到不同的设备和平台上去,能够节省很多的开发者学习成本。
对于素材,借助一些建模动画工具。不重要的模型可以采用一些扫描建模,或者是采用3D+2D的这种方式来构建场景,比如远景可以用全景图或者视频来构建。
还有要关注原有业务的AR增值服务,为产品提供一些额外的价值。大量的存量APP,经过很小的调整或者适配,就可以在安卓设备上运作了。这样就可以在极小的成本内,把它转化为XR应用。
③ 在开发者需求
和技术发展方向之间寻求平衡
在开发过程中,如果我们提供了一个便捷工具,这个工具可以有利于减少开发成本、缩短开发周期,那么各个领域就会涌现出大量的相关应用。在这个数量的基础上,肯定会爆发出一些有价值的,且能够吸引人的内容出来。前期在积累量的基础上,一定会有一些好的应用脱颖而出。
所以前期开发过程中提供的工具一定要便利,这样大家就可以便捷地创作内容。然后基于大量的内容,会诞生出一些有价值的XR创作。
AR应用开发怎么“避雷”?
① 非技术方面:
数据安全、访问权限
toB的应用,除了要摸清它的业务逻辑外,其实有一些技术以外的雷存在。很多这种类型的企业,它会关注数据安全以及安全政策。比如一些工业制造领域对数据信息非常敏感,一旦数据泄露会对其造成较大的损失。而AR应用可能有定位、视频功能,要事先了解清楚能不能用。不要等开发完后,才发现它们都不让用。
企业内部有内网、外网的访问权限,有些内部各个部门不能相互访问,这种情况也有遇到过。还有些数据,需要搭建一个特定服务器(TURN/STUN)做中转,这都相当于是非技术方面的雷。
② 技术方面:
设备适配、版本支持
技术方面也有踩过雷,像设备的适配性要关注。主流的AR引擎可能很多都依赖ARCore与ARKit。比如安卓设备需要谷歌ARCore,有的手机又不支持。这导致有些开发应用在一些手机上就不能使用,这个时候要考虑自主研发一些基础功能SDK。
还有像ARCore、ARKit和AR Engine,它们之间支持的版本不一样,同时在项目里面只能用其中一个版本。功能方面,AR基础的一些定位,环境理解,运动跟踪,光照估计这些都是支持的。但它们之间有一些差异,不同的设备特性也不一定一致。开发的时候以及部署后的运行表现也不一定一致。
比如面部识别,有的支持45度,有的只支持30度。如果我们按照45度开发了一个美颜功能、贴纸功能,然后去另一个设备运行的时候,功能失效了,结果直播的时候露馅了,然后就掉粉了。
光照估计的差异也有,在不同的光照环境下,AR的光照效果融合有时也会失效了。还有设备的分辨率也不一样,显示范围也会有区别。如果你是在大屏上面开发的AR功能,在边缘显示了AR的一个内容,但是在另一个设备上可能这个内容因为超出显示区域就看不到了。
③ 浏览器版本、
平台政策
Web端的AR应用其实也有一些风险。比如不同的平台、不同的浏览器,支持SDK版本及种类都是有区别的。有的浏览器,可能对WebRTC的支持也有些差异。还有的是对摄像头的获取权限,可能不能开启。对包体的大小也有限制,有的平台支持2M,有的是10M,有的是20M。打包的时候,都有一些可能没有考虑到的问题。
一些平台本身还有平台政策,前一个版本可能还支持这个特性,下一版本可能就不支持。还有的商业引擎,商业工具,不开源出了问题,再修改就不一定好修改,有的必须要等很久到官方更新后才行。
还有一些协同方面的问题。在AR设备上,可能要多个人在不同的设备上去体验这款AR应用,但在协同时,可能你的设备性能比较好,另一个设备性能比较差,这之间如何协同是需要比普通的应用考虑更多的问题。
④ 游戏:跨平台兼容、
屏幕分辨率
AR游戏肯定要在不同设备上运行,现在的苹果、安卓,每个设备采用的SDK是不一样的。有的设备上的SDK,比如对物体进行追踪,ARKit是可以对物体进行识别追踪的,AR Engine也是可以的,那ARCore很多版本是不可以的,要考虑不同版本、特性、功能适不适合做普遍性的开发应用。
还有一点是屏幕分辨率。一款游戏中会有很多素材,还有UI资源,都是比较重要的部件。你要参考的是不同的设备的显示情况及光照估计。比如UI是一种风格,但是在AR中需要跟现实场景进行融合,现实场景中可能有不同的光照条件,或者现实场景中的背景色是不一样的。这个时候,你的UI是不是能够随着这个实际场景进行动态更新,或者做一些融合,在不同的游戏领域,还是需要去做一些考虑,去智能识别。
中国AR市场的机会
与在C端普及的条件
中国的终端开发者还是比较多的。之前苹果的开发者,全球是三千万,中国是五百万。五百万这个群体,在全球来说还是比较大的,算是最大的单一国家开发群体。
我们国内今年手机的销量,还是下降比较严重的。所以各个头部厂商,还有一些互联网巨头也在往XR领域去布局。很多厂商是先启动VR一体机,后面AR设备也会跟上。看今年的情况,今年能够投放市场的多数还是以手机和设备通讯的这种分体设备为主。
这些设备投放后,肯定需要一批AR内容来吸引用户。在内容方面,目前来看,可能直播,购物营销,社交等方面,应该会有一些新的应用形态出现。之前的AR培训,工业维护,还有AR教育实验室的这些B端的应用,应该还是能够稳步扩大。
XR制作工具也是在逐步成熟,尽可能兼容更多新出现的设备或平台,内容开发越来越便利,比如我们Cocos Creator。
这一切带来的最明显的变化是AR技术人才会显得很稀缺,今年应该都能明显感觉到AR技术人才稀缺。
我还是要强调一下,大家一定要在自己的专业领域内去挖掘AR价值。一方面,是对价值增值的真实需求,对自己转型的风险也是最小的。另一方面,这样大家才能百花齐放,发现更多可能性,对AR技术和市场的长远的发展都更有利。
C端普及还是要分设备的,比如手持,现在智能手机都很普及,每个人都用过美颜相机,本身也是一种AR的应用内容。手持AR的话,其实在相机领域已经比较普及了。其他类型的AR内容落地的就很少。所以现在手机虽然很普及了,但是AR的应用内容还是太少,内容的入口也比较分散。
AR眼镜如果要普及的话,关注几个方面,比如重量、价格、外观、内容。首先设备,现在分体式的设备,也就是手机插上眼镜的设备,重量要控制在100克以内。但眼镜的重量跟电池的续航能力,又是一个矛盾的地方。价格方面,要亲民一点。分体式的这种设备最好在小几千元,一体机也不要超过1万元。眼镜的样子还是要好看一点,毕竟买了这个设备还是希望能多戴一点,用户粘性好一点。
最重要的是这个设备还有内容,没有内容没有用户粘性就没法持久,现在主要的问题是内容层面缺少刚需的应用。这是AR眼镜普及困难的一个主要问题,没有好的体验,AR产品使用习惯就很难培养。
我个人来看,相对集中又比较中立的一种内容平台,再加上完善创作工具链,再加上有吸引力的刚需应用,另外还有设备轻便美观,这个时候就可以普及。